自动求导
构建计算图：将计算分解成算子的有向无环图
z = (\langle \mathbf{x}, \mathbf{w} \rangle - y)^2, \frac{\partial z}{\partial \mathbf{w}} = ?
\begin{aligned} a &= \langle \mathbf{x}, \mathbf{w} \rangle\\ b &= a - y\\ z &= b^2\\ \end{aligned}
前向积累
前向：执行计算图，并存储中间结果
\begin{aligned} a &= \langle \mathbf{x}, \mathbf{w} \rangle\\ b &= a - y\\ z &= b^2\\ \end{aligned}
反向传递 I
反向：计算梯度值，剪除不需要的枝，避免重复计算。
\begin{aligned} z &= b^2\\ \end{aligned}
\begin{aligned} \frac{\partial z}{\partial b} &= 2b\\ \end{aligned}
反向传递 II
反向：计算梯度值，剪除不需要的枝，避免重复计算。
\begin{aligned} b &= a - y\\ \end{aligned}
\begin{aligned} \frac{\partial b}{\partial a} &= 1\\ \end{aligned}
反向传递 III
反向：计算梯度值，剪除不需要的枝，避免重复计算。
\begin{aligned} a &= \langle \mathbf{x}, \mathbf{w} \rangle\\ \end{aligned}
\begin{aligned} \frac{\partial a}{\partial \mathbf{w}} &= \mathbf{x}^T\\ \end{aligned}
- 类比剪枝：剪除y对应的分支
为什么可以避免重复计算？
反向：计算梯度值，剪除不需要的枝，避免重复计算。
- 计算\frac{\partial z}{\partial b}需要b，进而需要a
- 类比：动态规划中的查表
实例：MLP 计算图
\begin{aligned} \textbf{h} &= \sigma(\textbf{W}_h \textbf{x} + \textbf{b}_h)\\ \textbf{o} &= \textbf{W}_o \textbf{h} + \textbf{b}_o\\ s &= \frac{\lambda}{2} \left( \lVert \textbf{W}_h \rVert_F^2 + \lVert \textbf{W}_o \rVert_F^2 \right)\\ \end{aligned}
\begin{aligned} \textbf{z} &= \textbf{W}_h \textbf{x}\\ \textbf{h} &= \phi(\textbf{z})\\ \textbf{o} &= \textbf{W}_o \textbf{h}\\ \mathcal{L} &= l(O,y)\\ \end{aligned}
优化、泛化
经验风险是训练数据集的平均损失；而风险则是整个数据群的预期损失。
局部最小、全局最小
深度学习模型的目标函数通常有许多局部最优解。
f(x) = x \cdot \cos(\pi x), - 1.0 \le x \le 2.0
梯度下降
Taylor展开：函数的一阶近似
f(x + \epsilon) = f(x) + \epsilon f'(x) + O(\epsilon^2)
梯度：函数值增长最快的方向
- 向梯度的反方向走一小步
- f(x - f'(x) \eta) \lessapprox f(x)
- x \leftarrow x - f'(x) \eta
牛顿法：二阶展开，需要能够计算二阶导数（Hessian）
学习率
学习率 learning rate：\eta
- 太小：收敛慢
- 太大：发散
注意：地形平坦的区域步长自然变小
- x \leftarrow x - f'(x) \eta
带动量的梯度下降
摆脱鞍点：
摆脱多个极小值：
反向传播算法
链式求导
将链式法则应用于神经网络梯度值的计算，得到的算法叫作反向传播算法。
- 计算梯度值，剪除不需要的枝，避免重复计算。
梯度下降法
优化目标
Objective: \text{arg min}_{W, b} J,
with: J = \lVert \overline{y} - y \rVert, \overline{y} = \sum \textcolor{blue}{relu}(\textbf{W} \textcolor{blue}{*} x + \textbf{b})
梯度下降更新
W_1 = W_0 - \nabla J * s
- 步长（学习率）要选取合适；
- 动量解决收敛速度、局部极值。
二维仿射变换
二维仿射变换的一般形式
\underline{GT} = \textbf{W} \textcolor{blue}{*} \underline{input} + \textbf{b}
基本二维仿射变换矩阵
\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}, \begin{bmatrix} 1 & 0 & t_x \\ 0 & 1 & t_y \\ 0 & 0 & 1 \end{bmatrix}, \begin{bmatrix} s_x & 0 & 0 \\ 0 & s_y & 0 \\ 0 & 0 & 1 \end{bmatrix}, \begin{bmatrix} \cos(\theta) & \sin(\theta) & 0 \\ -\sin(\theta) & \cos(\theta) & 0 \\ 0 & 0 & 1 \end{bmatrix}, \begin{bmatrix} 1 & e_x & 0 \\ e_y & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix}
深度学习的几何解释
深度学习可以解释为高维空间中非常复杂的几何变换
- 一切数据都是张量，即几何空间中的点。
- 模型的每一层对数据点做一个几何变换；而模型本身是这些变换的合成。
- 注意：几何变换必须可微。
模型的可探索空间（假设空间）需要足够大
只要模型的参数足够多，就能捕捉到原始数据中所有的映射关系。想象“\Omega路径”。
激活函数
三种基本激活函数
ReLU, sigmoid, tanh.
激活函数的作用
提供非线性。
ReLU合成法
ReLU 合成的一般形式
\sum \textcolor{blue}{relu}(\textbf{W} \textcolor{blue}{*} \underline{input} + \textbf{b})
一致逼近原理
Universal approximation theorem（非常有用的废话）
In approximation theory, both shallow and deep networks are known to approximate any continuous functions at an exponential cost.
构造方法：
- 构造线性函数；
- 构造分段线性函数；
- 构造离散化的任意函数。
